Năm 1984, ông nhập ngũ.

Ông là sĩ quan Hải quân phát triển từ các đơn vị cơ sở. Ông đã trải qua các chức vụ quan trọng của Hải quân Nhân dân Việt Nam:

Thuyền trưởng tàu tên lửa, Hải đội trưởng, Lữ đoàn trưởng, Tư lệnh Vùng Hải quân

Trong thời gian làm Lữ đoàn trưởng Lữ đoàn 162, Lữ đoàn được mệnh danh "quả đấm thép" của Hải quân Việt Nam (2005–2009), ông đã nỗ lực tập trung xây dựng Lữ đoàn trở thành đơn vị thiện chiến, chính qui, hiện đại nhất bậc nhất của Quân chủng Hải quân.

Ông có tác phong làm việc khoa học và đặc biệt là một người chỉ huy rất gần gũi với lính của mình. Là một người chỉ huy nhận được sự kính trọng đặc biệt trong mỗi câu chuyện mà thuộc cấp của ông nói về ông.

Năm 2009, bổ nhiệm giữ chức Phó Tư lệnh kiêm Tham mưu trưởng Vùng 4 Hải quân.

Tháng 1 năm 2011, tại Đại hội Đại biểu toàn quốc lần thứ XI của Đảng được bầu làm Ủy viện dự khuyết Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá XI.

Năm 2012, bổ nhiệm giữ chức Tư lệnh Vùng 4 Hải quân. Vùng 4 Hải quân là một vùng lớn đứng chân trên vùng biển chiến lược: căn cứ Cam Ranh và quần đảo Trường Sa (Việt Nam), là nơi rèn luyện, thử thách nhiều thế hệ cán bộ chỉ huy các cấp của Hải quân.

Tháng 4 năm 2014, bổ nhiệm giữ chức Phó Tư lệnh kiêm Tham mưu trưởng Quân chủng Hải quân.

Tháng 6 năm 2015, bổ nhiệm giữ chức Tư lệnh Quân chủng Hải quân[4][5], Phó Bí thư Đảng ủy Quân chủng.

Tháng 1 năm 2016, tại Đại hội Đại biểu toàn quốc lần thứ XII của Đảng, Phạm Hoài Nam được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá XII.[6]

Ngày 16 tháng 6 năm 2018, Chuẩn Đô đốc Hải quân Phạm Hoài Nam được Chủ tịch nước Trần Đại Quang trao quyết định thăng quân hàm lên Phó Đô đốc Hải quân[7][8]